Năm 1925, Hilton kết hôn với bà Mary Adelaide Barron (1906–1966). Cả hai có 3 người con: Conrad Nicholson "Nicky" Hilton Jr., William Barron Hilton và Eric Michael Hilton, trước khi ly dị năm 1934.

Năm 1942, Hilton kết hôn với nữ minh tinh Zsa Zsa Gabor và có con gái Constance Francesca Hilton trước khi ly dị năm 1947. Bà Gabor viết trong cuốn tự truyện năm 1991 One Lifetime is Not Enough rằng bà chỉ có thai do bị Hilton cưỡng bức trong thời gian ly thân.[6] Con gái Constance của họ qua đời do cơn đột quỵ vào ngày 5 tháng 1 năm 2015 trong cảnh nghèo khó ở tuổi 67.

Năm 1976, Hilton kết hôn lần cuối với Mary Frances Kelly. Cuộc hôn nhân này kéo dài cho tới khi ông qua đời 1979. Bà Mary Hilton mất năm 2006, hưởng thọ tuổi 90.

Gia sản

Vào ngày 3 tháng 1 năm 1979, Hilton qua đời vì nguyên nhân tự nhiên ở tuổi 91. Ông được an táng tại Nghĩa trang Calvary Hill, một nghĩa trang Công giáo ở Dallas, Texas. Ông đã để lại 500.000 đô la cho hai anh chị em còn sống của mình, 100.000 đô la cho con gái Constance Francesca Hilton và 10.000 đô la cho mỗi cháu gái và cháu trai của ông. Phần lớn tài sản của ông được để lại cho Quỹ Conrad N. Hilton[7] được ông lập ra năm 1944. Con trai ông, Barron Hilton, người đã dành phần lớn sự nghiệp của mình để giúp xây dựng Tập đoàn khách sạn Hilton, đã đấu tranh di chúc, mặc dù đã rời công ty với tư cách là Chủ tịch, Giám đốc điều hành và Chủ tịch Hội đồng quản trị.

Một thỏa thuận đã đạt được và kết quả là Barron Hilton đã nhận được 4 triệu cổ phiếu của đế chế khách sạn, Quỹ Conrad N. Hilton đã nhận được 3,5 triệu cổ phiếu và 6 triệu cổ phiếu còn lại được để vào W. Barron Hilton Charitable Remainder Unitrust.[7] Sau khi Barron Hilton qua đời, tài sản của Unitrust sẽ được chuyển cho Quỹ Hilton mà Barron ở vị trí Chủ tịch.[8]

Vào ngày 25 tháng 12 năm 2007, Barron Hilton tuyên bố rằng ông sẽ để lại khoảng 97% tài sản của mình (ước tính khoảng 2,36 tỷ đô la) [8] cho một đơn vị từ thiện mà cuối cùng sẽ được sáp nhập với Quỹ Conrad N. Hilton.[9] cho một đơn vị từ thiện mà cuối cùng sẽ được sáp nhập với Quỹ Conrad N. Hilton. Bằng việc để lại tài sản của mình cho Quỹ, Barron không chỉ quyên tặng tài sản đã tự mình tích lũy, mà còn trả lại cho Tổ chức Conrad N. Hilton, gia tài của Hilton được cha gây dựng, mà nếu không thì Barron đã không đấu tranh di chúc của cha mình.[10]